Qwen3.8-Flash 正式发布,这次的重点不是参数而是架构
Qwen3.8-Flash 与开源的 Qwen3.8-Flash-Next 采用 MoE 架构,125B 主体每 Token 只激活 6B,配合 Qwen Sparse Attention 与 51B N-gram Embedding 压住长上下文成本,训练开销仅为 Qwen3.7-Plus 的 1/9。原生 262K 上下文可扩到 1M,API 输入 0.16 美元/百万 Token,最适合验证 Coding Agent 这类长上下文、多轮工具调用的负载
就在 8 月 26 日,Qwen 发布了 Qwen3.8-Flash,还同时开源了 Qwen3.8-Flash-Next。相比简单的把模型做得更大,这次更值得关注的是下一代 Qwen4 的技术方向。
Qwen3.8-Flash-Next 同样采用 MoE 架构,主体规模约 125B 参数,但每 Token 实际激活 6B 参数。这意就味着整个模型可以保留较大的知识库的容量,同时明显降低了单次推理计算的量。
这次架构还有几个比较明显的变化。
第一是 Qwen Sparse Attention(QSA)。面对几十万乃至百万 Token 的长上下文时,传统 Attention 的计算和显存会快速增加。QSA 会先筛选真正需要的内容,从而降低长上下文处理的成本。
第二是 N-gram Embedding。Qwen3.8-Flash-Next 额外配备了 51B 的 N-gram Embedding,但这部分更像是“查询型容量”,不需要像 Transformer 参数那样全部参与矩阵计算。以后判断一个模型是否区大,可能不能光看总参数量了,还得要看每 Token 到底会激活多少参数。
官方还称相比 Qwen3.7-Plus,新架构训练开销仅为 1/9。与此同时它还在 SWE-bench Pro、DeepSWE、CoWorkBench 等 Coding 和 Agent 类测试中保持了较好的成绩。
我觉得 Qwen3.8-Flash 最值得去测试的场景是:Coding Agent。
在真实的 Coding Agent 需要连续读取代码仓库、分析日志、修改文件、运行测试并处理错误。这里真正考验的不是单次代码生成,而是长上下文、工具调用和连续几十轮执行的稳定性。Qwen3.8-Flash 的稀疏注意力 MoE 和百万上下文,恰好都是针对这类负载做了优化。
另外在上下文方面,Qwen3.8-Flash-Next 原生支持约 262,144 token 上下文,并可扩展到 1M;面向生产的时候 Qwen3.8-Flash 可直接提供百万级的上下文。
重点当然价格了、QwenCloud 当前给出的 Qwen3.8-Flash API 价格约为 输入 0.16 美元/百万 Token,输出 0.47 美元/百万 Token。对于普通聊天来说这也不算便宜,但是对比国外模型也算便宜的了,对于需要连续调用数十甚至数百次模型的 Agent,成本差会成倍增加。
所以我这次更愿意把 Qwen3.8-Flash 叫做一次“效率路线”的探索。125B 主模型、约 6B 激活参数、稀疏注意力、额外 N-gram 容量,再配合百万上下文和不低 API 成本,这些变化放在一起,比单独看 Benchmark 更有意思。如果 Qwen4 最终继续能沿着这条路线发展,大模型竞争接下来才是真正值得看的,有可能不再是谁的总参数更多,而是:同样的一次任务,到底是谁需要付出的计算成本更低。